21世纪经济报道记者 董静怡
今年3·15把矛头指向了AI大模型的安全风险——AI大模型“投毒”。
从业者不再满足于利用AI生成内容,而是试图通过系统性操纵互联网上的数据源,反向驯化大模型,让它们在回答问题时,夹带商业私货。
整个过程堪称一场针对AI大模型的围猎,一个名为GEO的产业链已然成形。
在公众朴素的认知里,AI往往代表着客观、理性,如今却被发现可以被低成本地“洗脑”,这无疑是对公众认知基石的侵蚀。
而在技术之外,法律和监管层面也面临挑战。浙江垦丁律师事务所主任律师张延来向21世纪经济报道记者表示,传统的《广告法》和《反不正当竞争法》在应对这种将广告伪装成“AI知识共识”、隐蔽性极强的算法操纵时,往往面临取证难、定性难、穿透难等困境。
此次曝光撕开了一道关于人工智能时代信息秩序的口子。在AI的信息迷雾中,厘清责任、划定红线,已成为守护数字时代的当务之急。
3月15日晚,央视曝光了一种名为GEO(生成式引擎优化)的黑灰产技术。
报道中,业内人士向记者演示了整个操作流程:他在电商平台购买了一款名为“力擎GEO优化系统”的软件,随后虚构了一个根本不存在的智能手环品牌——“Apollo9”。他将“量子纠缠传感”、“黑洞级续航”等夸张且虚假的产品信息输入系统,指令软件自动生成宣传软文,并发布了“专家测评”“行业排名”“用户测评”等,随后在AI大模型搜索“智能健康手环推荐”,这款完全虚构的产品赫然在列,排名靠前。
信任的“交叉验证”机制反被利用。在传统认知中,如果多个信息来源都提及同一件事物,我们倾向于认为它是真实的。GEO服务商正是利用了这一心理和AI的算法逻辑。
当虚假信息从十个、一百个不同账号发出,被AI抓取并进行所谓的“交叉验证”后,谎言便在其逻辑体系中成为了“真理”。
值得警惕的是,这并非个别现象。曝光中的GEO服务商负责人表示,他们公司仅一年时间就服务了200多个客户,遍布各行各业。
事实上,关于AI“投毒”带来的安全风险业内早有讨论。有网络安全行业人士向记者表示,信源污染是大模型时代的核心安全风险。
“大模型的训练离不开数据。”该人士向记者表示,“如果有一些网络上爬取到的样本数据,已经被人有意识的植入毒化的样本,就会造成大模型产生错误。普通的情况下大家察觉不到这个模型已经被毒化。”
GEO正是针对大模型的数据抓取和解析逻辑。黑灰产从业者利用大模型“大力出奇迹”依赖海量数据的特点,通过在公开网页、论坛、百科甚至社交媒体上批量植入经过特殊设计的“提示词”或“隐藏文本”,来“训练”或“诱导”大模型。
对于大多数消费者而言,AI大模型被视为继搜索引擎之后的信息获取主入口。据Gartner预测,到2026年传统搜索引擎访问量将下降25%,到2028年50%的搜索流量将被AI搜索取代。
GEO技术本身是中性的。央视在报道中评价道,它本只是一个优化信息分发的工具,是AI时代的新型营销服务之一。
在传统的搜索引擎营销时代,互联网营销讲的是SEO(搜索引擎优化),企业通过堆砌关键词和购买外链,试图在搜索引擎的排名中占据高位,需要用户点击进入网站后才能辨别真伪。但在大模型时代,模型通过“智能总结”直接将虚假信息作为结论呈现给用户,这一过程省略了用户的跳转与核实环节。
因此,当它被用来系统性、定向地投放虚假信息,用以“围猎”AI大模型时,问题的性质就发生了变化。
曝光之后,法律与监管的跟进往往决定了一个灰色产业的终局。但面对AI大模型,传统的归责体系面临挑战。当AI输出虚假信息误导消费者,责任究竟该由谁来承担?
张延来向记者表示,责任链条中,付费的商家(广告主/获益方)是虚假信息的源头和最终获益者。他们明知或应知其产品信息是虚构的,仍付费雇佣黑产公司进行投毒推广,则属于违法后果第一责任人,直接承担与其行为对应的法律责任。
提供GEO优化服务的灰产公司(技术提供方/实施方)是“投毒”行为的实施者,他们可能跟付费商家一起对违法行为承担连带责任,或者因为AI投毒行为本身独立承担法律责任,例如非法经营或者帮信罪。
在这场复杂的博弈中,一个关键的争议点在于AI大模型平台本身是否应该担责。3·15晚会曝光的案例中,AI模型“被迫”推荐了虚构产品,平台看似也是受害者。
现行的《广告法》和《反不正当竞争法》主要规制的是“人”的行为——广告主、经营者、发布者。但在GEO的产业链中,虚假信息的制造者是人,而最终输出内容的“发布者”却是机器。这种“人机共谋”的局面让传统监管手段显得有些力不从心。
“被利用的AI平台(服务提供者)的责任相对复杂,不能一概而论,通常需要适用‘避风港原则’与‘红旗原则’的结合,并考量其是否尽到了法定的安全管理义务。”张延来向记者表示。
根据《生成式人工智能服务管理暂行办法》第七条,提供者应当"采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性";第十四条规定“提供者发现违法内容的,应当及时采取停止生成、停止传输、消除等处置措施,并向有关主管部门报告”。
“据此,我认为AI平台的责任应当分两种情形讨论:如果AI平台只是被动抓取了互联网上的虚假信息,在现有技术条件下难以完全识别其为‘投毒’数据,且在接到投诉或通知后及时采取了屏蔽、断开链接、优化模型等措施,通常不需要承担责任;
如果AI平台在算法设计上存在明显漏洞,或者在明知/应知存在大量异常数据’投毒‘的情况下(例如短期内某一虚假产品信息暴增),未采取有效的数据清洗、来源验证和防范措施,甚至为了商业利益纵容此类行为,那么平台就未尽到事前注意义务,需要对扩大的损害承担连带责任。”张延来向记者表示。
一位技术人士向记者指出,GEO只是AI时代信息操纵的冰山一角。随着多模态大模型普及,视频、音频内容也可能成为“投毒”目标。监管与黑产的攻防,将是一场持续升级的持久战。被污染的河流需要数年才能恢复清澈,而被“投毒”的信息世界,重建信任的成本可能更高。
张延来建议,可以从三方面完善治理:一是立法明确“数据投毒”与“正当GEO”界限,对伪造信息操纵AI行为定性为不正当竞争并严惩;二是强化AI平台对引用外部数据的审查与溯源,敏感领域须标注信息来源并提示风险;三是建立多部门协同监管与技术对抗机制,利用AI技术监测异常,斩断黑灰产利益链。